Là người lớn nhất trong gia đình có ba anh em, von Neumann sinh ra với tên Neumann János Lajos (tên trong tiếng Hungary có họ đi trước tên) ở Budapest, Đế chế Áo-Hung (Osztrák-Magyar Monarchia), con của ông Neumann Miksa (Max Neumann), một luật sư làm việc trong một ngân hàng, và bà Kann Margit (Margaret Kann). Lớn lên trong một gia đình gốc Do Thái, János, thường gọi là "Jancsi", là một cậu bé thần đồng. Vào năm lên sáu tuổi, cậu bé có thể chia hai số với 8-chữ số nhẩm trong đầu và nói chuyện với cha bằng tiếng Hy Lạp cổ. Vào lúc lên tám, cậu đã biết rất nhiều về một ngành toán gọi là giải tích; lúc mười hai tuổi cậu có thể được xem là ở mức trên đại học. Cậu ta có thể nhớ chỉ bằng cách lướt nhìn qua trang sách. Cậu vào trường Fasori Gimnázium (Lutheran Gymnasium) vào năm 1911. Có nguồn[1] cho rằng lúc 10 tuổi cậu bé mới đi học, và vào trường trung học luôn.

Vào năm 1913, cha cậu mua một danh hiệu, và gia đình Neumann đạt được danh hiệu Margittai của quý tộc Hungary, tương đương với von của Áo. Neumann János do đó trở thành János von Neumann - và János được Anh hóa thành John sau khi ông, mẹ ông và các anh di cư sang Hoa Kỳ vào thập niên 1930. Lưu ý là, ông sử dụng họ von Neumann, trong khi các anh chuyển thành các họ khác như Vonneumann và Newman.

Tại Đại học Budapest, von Neumann được các giáo sư bồi dưỡng về môn toán, đặc biệt là GS. Fekete, người đồng tác giả của bài báo khoa học đầu tiên của von Neumann khi ông mới 18 tuổi.Ông nhận bằng Ph.D. về toán học (với các ngành phụ trong vật lý thực nghiệm và hóa học) từ Đại học Budapest vào năm 23 tuổi. Cũng trong thời gian này, ông học kỹ thuật hóa chất tại ETH Zurich ở Thụy Sĩ. Trong những năm từ 1926 đến 1930 ông là một giảng viên tư (Privatdozent) ở Berlin, Đức.

Von Neumann được mời sang Princeton, New Jersey vào năm 1930, và là một trong bốn người được chọn cho các giáo sư đầu tiên của Institute for Advanced Study, nơi ông là giáo sư toán học từ ngày thành lập viện năm 1933 cho đến khi ông mất.

Từ 1936 đến 1938, Alan Turing là khách viếng thăm tại học viện, nơi ông hoàn thành luận án tiến sĩ dưới sự hướng dẫn của Alonzo Church tại Princeton. Chuyến viếng thăm này xảy ra không lâu sau khi Turing xuất bản bài báo năm 1936 với tựa đề On Computable Numbers with an Application to the EntscheidungsproblemOn Computable Numbers with an Application to the Entscheidungsproblem (Về những số tính được với một áp dụng vào bài toán Entscheidungsproblem) liên quan đến những khái niệm của thiết kế logic của một máy giải được mọi bài toán. Von Neumann có lẽ biết đến ý tưởng của Turing nhưng không rõ là ông có sử dụng chúng vào thiết kế của máy tính IAS mười năm sau đó.

Vào năm 1937, ông trở thành công dân Mỹ. Vào năm 1938, von Neumann được trao giải thưởng Giải tưởng niệm Bôcher cho các công trình trong ngành giải tích.

Von Neumann lập gia đình hai lần. Vợ đầu của ông là Mariette Kövesi, cưới vào năm 1930. Khi ông cầu hôn, ông không có khả năng nói được gì nhiều hơn là "Cô và tôi có thể có một vài thú vui cùng nhau, và hiện nay cả hai chúng ta đã đều thích uống." Von Neumann đồng ý chuyển đổi sang Công giáo để làm đẹp lòng gia đình vợ. Đôi vợ chồng ly dị vào năm 1937, và sau đó von Neumann cưới người vợ sau, Klara Dan, vào năm 1938. Von Neumann có một đứa con gái, từ cuộc hôn nhân đầu, là Marina von Neumann Whitman. Marina sau này lập gia đình và là một giáo sư nổi tiếng trong thương mại quốc tế và chính sách công tại Đại học Michigan.

Von Neumann bị ung thư xương hay ung thư tuyến tụy vào năm 1957, có lẽ là do nhiễm phóng xạ trong khi theo dõi các thử nghiệm về bom A ở Thái Bình Dương, và có lẽ là các công việc sau này về vũ khí nguyên tử tại phòng thí nghiệm Los Alamos, New Mexico. (Nhà tiên phong vật lý hạt nhân đồng nghiệp Enrico Fermi chết vì ung thư xương vào năm 1954.) Von Neumann chết chỉ trong vài tháng sau những chẩn đoán ban đầu, trong đau đớn tột cùng. Ung thư cũng lan đến não bộ của ông, cắt đi hầu hết khả năng suy nghĩ của ông, trước đây là công cụ sắc bén và được trân trọng nhất của ông. Khi ông nằm hấp hối ở Bệnh viện Walter Reed ở Washington, D.C., ông chấn động bạn bè và người quen khi yêu cầu nói chuyện với một cha Công giáo La Mã.

Von Neumann có những ý tưởng có thể làm nhiều người ngày nay cảm thấy khó chấp nhận. Ông mơ đến việc thay đổi môi trường bằng cách, chẳng hạn, rải những màu nhân tạo trên băng ở hai cực để làm tăng khả năng hấp thụ bức xạ Mặt Trời và do vậy làm tăng nhiệt độ toàn cầu. Ông cũng ủng hộ tấn công phủ đầu Liên Xô bằng vũ khí hạt nhân, tin rằng làm như vậy sẽ ngăn họ chế tạo được bom nguyên tử.